HueでブラウザからHadoop操作 | Hadoop Advent Calendar 2016 #23
こんにちは、小澤です。 この記事はHadoop Advent Calendar 23日目のものとなります。
前回はHBaseについて書かせていただきました。
今回はブラウザからHadoop上のさまざな操作を行えるHueというものについて書かせていただきたいと思います。
Hueの導入
どんなものかを見てみるのであれば、ClouderaのVMを使うか、公式のデモサイトを見るのが簡単です。
どんな機能があるか
Hueの機能のいくつかを紹介していきます。
QueryEditors
メニューのQueryEditorsにあるものです。
HiveとImpalaはともに似たUIでクエリを実行できます。
右上のフォームにクエリを記述することができCtrl-Enterでそのまま実行できます。
また、この画面で実際にクエリを入力していただくとわかるかと思いますが、補完機能もあります。
右下の部分にはクエリの履歴や実行後の出力、などが表示されます。
実行したクエリはHDFS上に保存しておくこともできます。
左側はデータベースやテーブルの一覧が表示されます。テーブル名の右にあるグラフのようなアイコンをクリックするとテーブルの中身を見ることもできます。
Pigの実行もQueryEditorsから選択できます。
Pigの場合はテーブルという概念がないので、主な画面構成はエディタ部分や右メニューにある項目になります。
左側にはクリックすると各種操作などの命令を挿入することができる機能一覧があります。
Data Browsers
Data BrowsersメニューではMetaStoreの情報などが確認できます。
他にもHBaseやSqoopに関する内容が存在しています。
Workflows
WorkflowsメニューはOozieの管理を行います。
Oozieそのものについての詳細な説明は割愛しますが、Hadoop上で複数の処理を組み合わせてその流れを定義したいときや時間やファイル生成をトリガーとしてジョブの実行タイミングを制御したいときに使うものです。
このメニューでは実行したジョブの確認などが行えるDashBoardとグラフィカルにOozieジョブを組み立てるためのEditorがあります。
ホーム
次はメニューにある家のようなアイコンです。 ここからは過去にHue上から作成して保存しておいたものにアクセスできるようになっています。
File Browser
次にメニュー右上のほうにあるファイルのようなアイコンの説明をします。
こちらはFile Browserとなっており、HDFSへのアクセスが可能です。
この画面からファイルやディレクトリの閲覧や操作は一通り行えます。
その他の機能について
メニュー内にはHBaseなど他にいろいろな項目があります。 これらについてすべてを紹介はしませんが、気になるものがあれば使ってみるといいかと思います。
終わりに
今回はHueについて紹介しました。
すべての機能を紹介できるわけではないので、今回はいくつかを選択して紹介しましたが、メニューなどから他の項目でどのようなことができるかはある程度わかりやすいかと思います。
便利そうだと思った方は一度つかってみるといいかと思います。
明日は2016年のカンファレンスなどで耳にしたHadoop活用事例について書かせていただく予定です。
ぜひ、お楽しみに！
